后训练目标如何重塑拒绝电路与转向鲁棒性
🧭 LLM 安全对齐与机制可解释性 ★ 深度解读
Macquarie University
比较 SFT、Ra-SFT、ORPO 三种后训练方法，发现训练目标而非数据重塑拒绝计算，且无一同时满足分布式编码、安全/效用可分离、细粒度可纠正
📌 工作参考价值（4 点）
- 在搜索推荐/Agent 场景使用 LLM 时，安全后训练不能只盯 ASR：ORPO 安全最强但易过度拒答（Gemma ORPO XSTest ORR 31.6%），会误杀合法 query、系统运维或广告文案生成。应同时评估 XSTest 类 over-refusal，并按业务敏感度选择 SFT/Ra-SFT/ORPO。
- 对 LLM 上线前的安全评估，可借鉴其 circuit-level 归因：检查 refusal 是否集中在少数 attention heads 或 MLP。若集中在 attention heads，模型对语义改写类攻击（happy_to_help、role_play）更脆弱，这正是搜索 query 被恶意改写时常见的风险。
- 若做在线安全干预或 activation steering，优先选择 recognition-layer 而非 execution-layer：Gemma Ra-SFT 在 recognition 层 steering 降低 ASR 18.8pp，而 execution 层仅 5.8pp，且对 MMLU 损害更小。这提示可用轻量 steering 做 Agent 流程中的安全过滤，但需先验证架构与训练目标。
- Ra-SFT 引入 reasoning chains 后，拒绝电路更分散、可纠正性更好，但推理开销上升；在低延迟搜索/推荐链路中需权衡。若对响应质量要求高，可考虑用短 reasoning 或只对高风险 query 触发 Ra-SFT。
跨模态安全漂移中的安全意识迁移（多模态大语言模型）
🧭 多模态安全对齐 · 表示迁移
Tsinghua University · Beijing University of Posts and Telecommunications · Northwestern Polytechnical University
提出安全感知表示迁移（SRT），冻结 MLLM 骨干下通过方向修正缓解跨模态安全漂移，提升安全性并保持通用能力
📌 工作参考价值（4 点）
- 多模态场景（如商品图+咨询文本、广告图文审核）不能只做纯文本安全过滤，需评估图文联合语义风险；可参考该工作构建图像-文本联合安全评估集，专门测“良性文本+风险图片”的请求。
- 若线上 MLLM 需要快速安全加固，可借鉴 SRT 思路：不微调大模型，仅在隐藏表征上学习一个安全方向偏移，用少量不安全样本训练轻量适配器，便于部署和回滚。
- 论文发现视觉风险线索注意力不足导致拒答弱，提示可在注意力层加监督/正则，或使用视觉 token 重要性加权，增强对风险区域的感知。
- 对于 Agent/推荐系统接入多模态 LLM，建议在 system prompt 中显式加入跨模态安全指令，并在离线评估中加入跨模态攻击样例，防止“文雅提问+危险图片”绕过策略。
RARE：在 MoE 语言模型中解耦表示引导与专家路由
🧭 MoE LLM 表示工程与路由解耦
Huazhong University of Science and Technology · AIDX TECH PTE. LTD. · National University of Singapore
将行为扰动投影到路由器矩阵零空间，保持 MoE 路由一致，提升表示工程的控制效果与效用保留
📌 工作参考价值（4 点）
- 如果业务用 DeepSeek/Qwen 等 MoE LLM 做生成式推荐、query 改写或商品文案，需要对安全性、合规性、事实性进行在线控制时，避免直接对 hidden states 加扰动导致 expert 路由漂移；可借鉴 RARE 把扰动投影到 router matrix 的 null space，以保留下游能力。
- 该方法是轻量、无需训练的推理期控制手段，相比 SFT/RLHF 可以快速上线、实时调节，适合电商大促、广告审核等需要动态调整输出约束的场景。
- 工程实现只需缓存各层 router matrix 并计算其零空间投影，可在 vLLM 等推理框架中作为后处理插件集成，对延迟影响较小；论文在多个开源 MoE 模型上验证了通用性。
- 路由对语义内容敏感、对行为变化不敏感这一发现，提示在做 RAG 检索、query 改写时如果希望改变模型输出风格而不破坏专家选择，可以优先在表示空间的 router-null 子空间内操作。
扩散大模型的安全机理漏洞：作为目标与攻击者
🧭 扩散LLM安全机理与攻击
Delft University of Technology · University of Neuchâtel
发现扩散LLM安全对齐稀疏且可迁移，提出SN-Guided Diffusion黑盒越狱框架，以极低成本实现高转移攻击成功率
📌 工作参考价值（4 点）
- 论文揭示的安全神经元稀疏性和跨架构可迁移性，可用于生成式推荐模型（如采用扩散LLM）的安全审计，识别并加固关键安全单元。
- SN-Guided Diffusion 框架的黑盒、离线、低生成成本特性（仅需20次生成/提示），可借鉴其对电商推荐或Agent的安全性快速评估，无需访问模型内部即可检测越狱风险。
- 安全神经元剪枝方法表明，少量神经元控制安全行为，可触发针对性的模型对齐测试，在推荐系统上线前作为红队测试手段。
- 整体上虽然偏学术安全研究，但攻击思路可迁移：对扩散生成过程的引导损失设计，可能启发在可控文本生成（如广告文案）中绕过内容策略的攻防演练。
微调回归的引力解释：几何视角下的行为恢复与干预
🧭 微调行为退化的几何机制与方向干预
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE
用历史训练流形的“引力”解释微调后行为回归，通过阻断回归方向有效抑制有害性恢复
📌 工作参考价值（4 点）
- 持续微调或在线学习场景中，可监控表征漂移与历史回归方向(v_rev)的对齐程度，预警行为退化风险。
- 计算v_rev只需保存初始化检查点与当前模型的激活差异，工程开销低，适合嵌入增量训练流水线。
- 若需保留特定能力（如去偏见推荐），可在更新时投影梯度以阻断v_rev方向上的位移，实验证明能以极小任务代价大幅降低有害性。
- 方法不依赖特定安全向量，利用训练历史本身定义回归方向，对搜索推荐模型的偏好保持与灾难性遗忘缓解具有启发意义。
知识应在何处介入？多模态迭代生成模型的知识注入分层框架
🧭 多模态生成模型的知识注入与安全对齐 ★ 深度解读
University of South Carolina · Indian AI Research Organization
将知识注入视为干预层问题，提出表面、轨迹、潜在、参数四层框架，多层组合可互补降低70.97%的知识违规。
📌 工作参考价值（4 点）
- 按失败类型分层干预：输入侧知识改写解决 prompt 级问题，生成中轨迹/潜在干预修正结构违规，输出侧过滤残留 artifact，可借鉴到生成式推荐的结果后校验与中间状态调控。
- 共享知识源统一控制：所有层查询同一个知识图谱，避免冲突，在推荐系统里可作为统一的事实约束源，用于物品属性合规、敏感概念过滤。
- 训练自由的推理时堆叠：所有干预均不修改扩散 backbone，适合冻结大模型快速上线，推荐场景下可对已有生成模型叠加业务规则而无需重训。
- 组合互补优于单层：实验表明单层输入端只能降部分违规，叠加中间层和输出层能持续提升，推荐安全对齐可采纳类似堆叠策略。